Lã Phương quê tại Đàm Châu (Hồ Nam ngày nay) có tài múa kích giống Lã Bố khi xưa nên người ta gọi là "Tiểu Ôn Hầu" (小温侯). Lã Phương vốn là nhà buôn thuốc, tuy nhiên trong một chuyến buôn bán ở Sơn Đông lại bị thua lỗ không có tiền về nhà nên đành ở lại núi Đối Ảnh làm cường đạo và nổi tiếng tại đây. Quách Thịnh hay tin bèn đến núi Đối Ảnh so tài cùng với ông. Lã Phương cùng với Quách Thịnh đánh nhau trên 10 ngày mà vẫn ngang tài ngang sức.